Năm 1956, Allison chuyển tới thành phố New York và mở ra sự nghiệp nhạc jazz, trình diễn với nhiều nghệ sĩ như Stan Getz, Gerry Mulligan, Al Cohn, Zoot Sims và Phil Woods.[7] Album đầu tay Back Country Suite được hãng Prestige xuất bản năm 1957. Ông trình diễn với tay bass Addison Farmer và tay trống Nick Stabulas năm 1958.

Tới năm 1963, hãng thu âm mới cho phép ông phát hành album đơn ca. Mang tựa đề Mose Allison Sings, đây là tập hợp những bài hát từ các album Prestige trước đây, tri ân nhiều nghệ sĩ của Mojo Triangle: Sonny Boy Williamson ("Eyesight to the Blind"), Jimmy Rogers ("That's All Right") và Willie Dixon ("The Seventh Son"). Dù vậy, sáng tác "Parchman Farm" cũng tạo nên sự chú ý của khán giả; trong hơn 2 thập niên, "Parchman Farm" là bài hát được yêu cầu nhiều nhất của ông. Ông loại bỏ bài hát này khỏi danh sách bài hát những năm 1980, vì một vài nhà phê bình cảm thấy bài hát sai lệch về chính trị[12]

Prestige cố quảng bá Allison như một ngôi sao nhạc pop, nhưng Columbia và Atlantic lại đưa ông hình ảnh của một nghệ sĩ nhạc blues. Vì ông hát blues, tạp chí Jet tưởng ông là nhạc sĩ da màu và muốn phỏng vấn ông.[13] Album The Way of the World phát hành vào tháng 3 năm 2010, là album đầu tiên của ông sau 12 năm vắng bóng trong phòng thu.[14]

Allison sáng tác khoảng 150 bài hát.[6] Năm 2012, Allison được vinh danh ở Mississippi Blues Trail tại quê nhà Tippo.[15] Vào ngày 14 tháng 1 năm 2013, ông được trao Jazz Master tại National Endowment for the Arts, danh hiệu cao quý nhất của dòng nhạc jazz tại Hoa Kỳ, trong một buổi lễ tại Lincoln Center, New York.[16]